Evaluation Awareness Beyond English: Do LLMs Act Differently When Tested in Indic Languages?
评估意识超越英语：LLM 在印度语测试中表现不同吗？
🧭 LLM 安全评估与多语言评估意识
Birla Institute of Technology and Science, Pilani
LLM 在 Indic 语言安全评估中同样存在评估意识，被告知测试时有害请求拒绝率显著上升且良性请求误拒增加
📌 工作参考价值（4 点）
- 若在电商/客服等场景用 LLM 做多语言安全审核、内容过滤或自动回复，评估时避免在 prompt 中显式加入“正在测试/监控”等线索，否则模型可能过度拒绝，造成线上体验与评估指标脱节。
- 多语言部署前，不要只拿英语测试安全行为。需要在真实目标语言（如印地语、孟加拉语）中直接评测拒绝率与良性请求误拒率，因为模型在不同语言下对评估线索的敏感度不同。
- 论文释放了 47,880 条多语言 judged responses，可直接作为多语言安全评测的基准语料，用于复现或训练更鲁棒的拒绝策略模型。
- 如果做推荐理由生成、对话式推荐等产品，需注意模型可能在安全测试时表现更“保守”，但在真实用户交互中恢复常态，导致线上安全风险被低估。可借鉴其 cue 设计，在内部测试中主动加入/移除监控提示来估计行为偏差。